MoLE：互补视觉推理的潜在专家混合
🧭 视觉推理 · 潜在专家混合
Tongji University, China · Hong Kong Polytechnic University, Hong Kong · Alibaba Group, China · University of Electronic Science and Technology of China, China
用潜在专家混合让不同 latent token 提取互补视觉证据，在相同 latent 预算下显著提升视觉推理
📌 工作参考价值（4 点）
- 在多模态商品理解/搜索中，若用 latent token 做视觉推理，避免让多个 token 共享 value projection；可给每个 latent expert 独立 routing/value，迫使它们提取互补视觉证据，减少冗余。
- 两阶段训练可直接复用：先强制视觉证据走 latent pathway 学习专业化表示，再恢复 direct visual access，无需预定义专家角色或中间视觉标签，适合业务多模态 VLM 微调。
- latent summary experts 聚合互补表征，能在固定 latent budget 下提升推理性能，适合多图/多区域商品理解等需要控制计算成本的场景。
- 用 latent-state similarity 和 attention diversity 作为诊断指标，评估多专家或多模态融合是否真正学到互补信息，有助于排查模型冗余。
行为引导稀疏路由的序列推荐
🧭 行为引导的MoE序列推荐 ★ 深度解读
Korea Advanced Institute of Science and Technology · Seoul National University
用会话行为线索（节奏/主题/记忆/流行度）引导MoE稀疏路由，让不同行为模式的会话走不同计算路径
📌 工作参考价值（4 点）
- 电商/广告序列推荐中，可以用日志侧特征构造行为线索作为MoE路由信号：从timestamp算interaction tempo，从类目标签算focus/switch rate，从item id算repeat/carryover，从训练集频次算popularity tendency；这些信号在预测前可算，且比纯hidden state更能反映会话行为差异。
- 分层稀疏路由值得借鉴：先由行为线索选 top-k 专家组（如tempo/focus/memory/popularity各组），再在组内结合当前hidden state选专家；组选择保持行为语义，组内选择保留位置级适应。
- 训练时不要用load balancing，改用route consistency + z-loss：前者让相似行为session的路由分布接近，后者压制路由logit过大；论文显示load balancing会伤害行为依赖分配。
- 多尺度路由（macro/mid/micro）对电商session有效：跨历史、当前会话、最近局部窗口分别聚合线索，macro/mid共享、micro随位置重算；若缺少类目或时间特征，可退化为sequence-only线索，仍能保持竞争力。
PRIME：用插件式残差输入条件 MoE 缓解共享 CTR Top 网络中的子群优化竞争
🧭 CTR 预测 · 条件 MoE 残差插件 ★ 深度解读
Ant Group · Henan Polytechnic University · Independent Researcher · Alibaba Inc.
提出 Dense 锚定的低秩残差输入条件 MoE 插件，以零残差初始化保持原模型不变，缓解共享 Top-NN 子群梯度竞争并提升 CTR 精度
📌 工作参考价值（5 点）
- 用「锚定原预测 + 零残差初始化」给线上 CTR 模型加条件分支：训练起点与原模型完全一致，避免直接替换 Dense 路径带来的函数突变和上线风险，适合对已有精排模型做渐进式安全升级。
- 条件路由必须放在决策相关表征上：如果子群体差异在特征交叉后才出现，用 pre-cross embedding 路由会失效；建议按业务场景选择路由输入层（如中间 cross 层），并在不同骨架上做消融验证。
- 低秩专家 rank q=16 + 多 bag 平均（G=4）在很小参数/推理开销下获得中位数 AUC 提升；可作为多场景、多广告位精排模型的轻量条件化方案，避免复制完整 MLP。
- 负载均衡用 EMA 更新 router bias，不加 auxiliary loss，消除平衡系数调参和对主目标的干扰；该做法可直接复用到多目标/多场景 MoE。
- 用业务语义分组（站点、设备、时段）对比随机组梯度 cosine，可先诊断共享层是否存在子群竞争，再决定是否需要条件化改造。
从被忽视到被探索：多视角混合恢复序列推荐中的物品关系
🧭 序列推荐 · 注意力校准 · 多视角 MoE ★ 深度解读
Pohang University of Science and Technology · University of Illinois Urbana-Champaign
识别并缓解自注意力相似性偏差，提出多视角透镜模块恢复同构与异质物品关系，序列推荐效果显著提升
📌 工作参考价值（4 点）
- 诊断注意力失效：对线上 transformer 推荐模型，在验证集上计算 last-layer attention 与因果重要性（逐个 mask item 看目标概率下降）的 Spearman/Align@1；若出现低相关或负相关，说明注意力被相似商品主导，模型实际依赖的 item 未被看到，可作为上线前诊断指标。
- 双视角轻量插件：在 SASRec/BERT4Rec 等主干层间插入 PRISM 式模块，用一个小 router 把 item 分到 K 个语义组（noisy gating），每个 lens 只对同组 key 做 mask 并 boost logits；同一模型内自然出现 Affinity（同组强化）和 Contrast（跨组恢复）两类输出，再按 g 加权融合。适合挖掘跨类目兴趣，如跑步鞋与运动水壶、手机与车载支架。
- 工程性价比：所有 lens 共享参数，每增加一个 K 仅多 2d 参数（实验中 K=8 只比 K=2 多 768 参数），训练/推理显著快于常规 MoE；可以在已有模型上以极小成本验证收益。
- 多视角训练防塌缩：如果需要序列级对比学习，使用 same-target 正样本时建议加入 stochastic perspective masking 随机屏蔽非主视角，防止不同视角被过度拉齐；同时对各视角输出做加权 SKL 一致性约束，避免直接加权和导致表示空间冲突。这个适用于多兴趣/多专家模型。
面向生成式跨域推荐的分层量化与域自适应稀疏路由方法
🧭 生成式跨域推荐 · 分层语义ID与自适应路由 ★ 深度解读
City University of Hong Kong · Kuaishou Technology
提出分层共享-路由量化与稀疏专家混合的生成式跨域推荐框架，结合路由一致性正则化，显著提升稀疏域性能。
📌 工作参考价值（4 点）
- 分层量化码本设计：多域业务中，可构建共享粗粒度码本捕获通用语义（如“运动鞋”），并用可路由的细粒度码本捕捉品类特有细节（如“篮球鞋低帮”），替代全共享或全独立码本，适用于跨品类生成式推荐。
- 稀疏 MoE 的 shared+specialized 结构：在跨域 Transformer 中，始终激活一个共享专家处理通用模式，同时通过 Gumbel-Softmax 路由选择激活一个特化专家，实现条件化参数分配，既保持推理高效性又提升域特异性，适合大促场景下统一多域模型。
- 跨粒度路由一致性正则化：生成 Semantic ID 时，每个 item 对应多个 token，强制其路由分布与 item 级池化分布对齐（KL 散度），可有效降低 token 级路由变异，提高 item 表示连贯性，实现简单，仅需在 loss 中加入该项。
- 负载均衡防止路由坍塌：对码本或专家路由概率施加均匀分布偏差正则，简单有效避免少数容量被过分使用，确保所有专家得到利用，工程上易于落地。
SmartMage：面向3D场景理解的动态模态编排
🧭 动态模态路由与专家混合 · 多模态推理
Zhejiang University · Stanford University
提出动态模态路由与模态感知专家混合，让MLLM按查询语义自适应选择模态，在3D场景理解中大幅超越固定模态组合
📌 工作参考价值（4 点）
- 电商推荐中不同query依赖不同模态（颜色→图像，尺寸→文本），可借鉴SMART模块动态选择模态特征，降低冗余计算与噪声，提升推理效率。
- 多模态推荐模型常固定拼接所有模态，改用基于查询语义的自适应模态选择，可避免无关模态干扰，类似特征门控机制。
- 为购物助手等Agent设计多模态感知时，可引入语义‑模态对齐路由，根据用户意图选择性启用传感器数据，节省资源。
- MAGE的模态先验引导专家专业化，可迁移到多模态推荐MoE架构中，为不同模态组合分配专家，实现分布式高效推理。
策略感知参数高效适配的LLM自动出价框架
🧭 LLM自动出价 · 策略感知参数高效微调 ★ 深度解读
Hainan University · Taobao & Tmall Group of Alibaba
SAGE通过位置增强、文本对齐与约束门控LoRA，仅用不到10%参数实现策略感知的LLM自动出价最优决策。
📌 工作参考价值（4 点）
- 位置增强模块可迁移到用户行为序列建模：将序列中不同语义类型的token（如点击/购买/曝光）赋予独立语义嵌入，结合正弦时间编码，取代统一的绝对位置编码，提升序列区分度和长度扩展性，适用于推荐系统的会话理解。
- 门控交叉注意力对齐多模态信息并压缩输入：在处理用户行为轨迹与自然语言指令（如搜索query、广告文案）融合时，用轨迹作为Query、文本作为Key/Value进行交叉注意力，替代直接拼接，既实现有效跨模态对齐，又大幅缩短LLM输入长度，适合对话式推荐Agent或指令跟随出价。
- 约束门控MoE LoRA实现低成本策略个性化：将业务约束（如预算、CPA目标）编码为门控信号，驱动混合专家LoRA动态选择适配器，每个广告主或场景只需额外极少参数即可定制策略，工程上可冻结LLM主干，只训练轻量适配模块，显著降低训练和部署成本。
- 整体框架可复用于多约束实时决策场景：SAGE的冻结骨干、低秩适配、条件路由设计可直接应用于电商搜索排序中的动态出价、预算分配或Push消息的个性化约束优化，用10%的参数实现超越全量微调的效果。
对话推荐中的动态偏好诱导策略：何时与如何提问
🧭 阶段感知的对话式推荐偏好诱导
University of Sheffield · Bloomberg
阶段感知：前期问属性，后期推物品，MoE建模策略选择提升对话推荐效率
📌 工作参考价值（4 点）
- 对话推荐策略应分阶段设计：冷启动阶段多问属性，偏好明确后直接推荐商品，可大幅提升导购Agent的交互效率
- 借鉴COPE的Mixture of Experts架构，构建一个轻量策略选择器，在线判断当前对话轮次应提问还是推荐，以及提问类型（属性/物品）
- InPE数据集提供了细粒度标注（询问必要性、策略类型），可用于微调对话推荐模型或策略判别器，适合迁移到电商客服场景
- 离线评估证实阶段感知策略优于静态统一策略，线上部署时可基于对话长度或状态隐式划分阶段，避免硬编码规则
CAMERA：适应语义伪装的无监督文本属性图欺诈检测
🧭 无监督图欺诈检测 · MoE自适应融合 ★ 深度解读
Griffith University · La Trobe University
提出CAMERA，通过解耦MoE专家与上下文感知门控自适应融合多源线索，实现无监督检测语义伪装欺诈者
📌 工作参考价值（4 点）
- LLM 文本编码替代浅层特征：用预训练 LLM（如 OpenAI text-embedding-3-small）提取节点文本的高质量语义表示，比 TF-IDF 或 SentenceBERT 更能保留细微恶意信号，适合电商评论/社交文本的欺诈检测。
- MoE 解耦多源欺诈线索：将结构偏差（GCN 残差）、语义偏差（自编码器残差）和全局分布偏差（距平均原型的距离）分别交给独立专家建模，避免单一信号被伪装掩盖；推荐系统做内容/行为异常检测时可效仿此解耦设计。
- 上下文感知门控自适应融合：门控网络结合节点自身表征和邻居聚合上下文计算专家权重，使同一个数据集中不同子社区能灵活侧重不同线索；可迁移到多源信号融合的推荐排序或风险模型中，用局部上下文动态调整信号重要性。
- 利用稀有性的一类无监督训练：基于欺诈者稀少的先验，采用 BCE 损失将多数节点得分压缩至 0，让少数欺诈节点自然凸显，配合专家级重构损失迫使专家学习正常模式；无需标签的训练思路可降低业务标注成本。